最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。

Automatic defect detection for 3D printing processes, which shares many characteristics with change detection problems, is a vital step for quality control of 3D printed products. However, there are some critical challenges in the current state of practice. First, existing methods for computer vision-based process monitoring typically work well only under specific camera viewpoints and lighting situations, requiring expensive pre-processing, alignment, and camera setups. Second, many defect detection techniques are specific to pre-defined defect patterns and/or print schematics. In this work, we approach the automatic defect detection problem differently using a novel Semi-Siamese deep learning model that directly compares a reference schematic of the desired print and a camera image of the achieved print. The model then solves an image segmentation problem, identifying the locations of defects with respect to the reference frame. Unlike most change detection problems, our model is specially developed to handle images coming from different domains and is robust against perturbations in the imaging setup such as camera angle and illumination. Defect localization predictions were made in 2.75 seconds per layer using a standard MacBookPro, which is comparable to the typical tens of seconds or less for printing a single layer on an inkjet-based 3D printer, while achieving an F1-score of more than 0.9.

脑小血管疾病的成像标记提供了有关脑部健康的宝贵信息，但是它们的手动评估既耗时又受到实质性内部和间际变异性的阻碍。自动化评级可能受益于生物医学研究以及临床评估，但是现有算法的诊断可靠性尚不清楚。在这里，我们介绍了\ textIt {血管病变检测和分割}（\ textit {v textit {where valdo？}）挑战，该挑战是在国际医学图像计算和计算机辅助干预措施（MICCAI）的卫星事件中运行的挑战（MICCAI） 2021.这一挑战旨在促进大脑小血管疾病的小而稀疏成像标记的自动检测和分割方法的开发，即周围空间扩大（EPVS）（任务1），脑微粒（任务2）和预先塑造的鞋类血管起源（任务3），同时利用弱和嘈杂的标签。总体而言，有12个团队参与了针对一个或多个任务的解决方案的挑战（任务1 -EPVS 4，任务2 -Microbleeds的9个，任务3 -lacunes的6个）。多方数据都用于培训和评估。结果表明，整个团队和跨任务的性能都有很大的差异，对于任务1- EPV和任务2-微型微型且对任务3 -lacunes尚无实际的结果，其结果尤其有望。它还强调了可能阻止个人级别使用的情况的性能不一致，同时仍证明在人群层面上有用。

机器学习的最后十年的规模和能力大幅增加，深层神经网络（DNN）越来越多地在各种领域中部署。但是，DNN的内部运作通常很难理解，这引起了人们对使用这些系统的安全性的担忧，而无需严格了解它们的功能。在这项调查中，我们回顾了有关解释DNN内部组成部分的技术的文献，我们称之为“内部”可解释性方法。具体而言，我们审查了解释权重，神经元，子网和潜在表示的方法，重点是这些技术如何与设计更安全，更值得信赖的AI系统的目标相关联。我们还强调了可解释性与工作之间的联系，对抗性鲁棒性，持续学习，网络压缩以及研究人类视觉系统。最后，我们讨论了关键的挑战，并争辩说未来的工作，以解释性为AI安全性，重点放在诊断，基准测试和鲁棒性上。

我们使用策划的数据集研究了随着时间的推移，随着时间的推移，我们研究了著名机器学习系统的趋势。从1950年到2018年，语言模型中的模型大小稳步增加了七个数量级。随后加速了趋势，从2018年到2022年，模型大小在仅4年内增加了五个数量级。视觉模型以更恒定的速度增长，在1950年至2022年之间总共增长了7个数量级。自2020年以来，有许多低于20b参数的语言模型，许多模型高于70b参数，但在20-70B参数范围内的模型稀缺。我们将这种稀缺性称为参数差距。我们提供有关参数差距的一些程式化的事实，并提出了一些假设来解释它。我们喜欢的解释是：（a）将模型大小的增加超过20b参数需要采用不同的并行性技术，这使得中型模型的成本效益较低，（b）GPT-3是比以前的语言模型大的数量级，并且之后，研究人员主要尝试更大的模型以胜过它。尽管这些动态可能存在，并且我们认为它们在产生差距中发挥了一定的作用，但我们对没有其他更重要的动态在起作用。

潜在世界模型使代理商可以对具有高维度观察的复杂环境进行推理。但是，适应新环境并有效利用先前的知识仍然是重大挑战。我们提出了变异因果动力学（VCD），这是一种结构化的世界模型，可利用跨环境的因果机制的不变性，以实现快速和模块化的适应性。通过因果分解过渡模型，VCD能够识别在不同环境中可重复使用的组件。这是通过结合因果发现和变异推断来以无监督方式共同学习潜在表示和过渡模型来实现的。具体而言，我们在表示模型和作为因果图形模型结构的过渡模型上优化了较低限制的证据。在对具有状态和图像观察的模拟环境的评估中，我们表明VCD能够成功识别因果变量，并在不同环境中发现一致的因果结构。此外，鉴于在以前看不见的中间环境中进行了少量观察，VCD能够识别动力学的稀疏变化并有效地适应。在此过程中，VCD显着扩展了潜在世界模型中当前最新的功能，同时在预测准确性方面也可以进行比较。

在过去的十年中，在杂交无人驾驶空中水下车辆的研究中努力，机器人可以轻松飞行和潜入水中的机械适应水平。然而，大多数文献集中在物理设计，建筑物的实际问题上，最近，低水平的控制策略。在高级情报的背景下，如运动规划和与现实世界的互动的情况下已经完成。因此，我们在本文中提出了一种轨迹规划方法，允许避免避免未知的障碍和空中媒体之间的平滑过渡。我们的方法基于经典迅速探索随机树的变体，其主要优点是处理障碍，复杂的非线性动力学，模型不确定性和外部干扰的能力。该方法使用\ Hydrone的动态模型，提出具有高水下性能的混合动力车辆，但我们认为它可以很容易地推广到其他类型的空中/水生平台。在实验部分中，我们在充满障碍物的环境中显示了模拟结果，其中机器人被命令执行不同的媒体运动，展示了我们的策略的适用性。

积极学习对于许多实际应用，特别是在工业和物理科学方面具有很大的兴趣，在那里有很强的需要最小化培训预测模型所需的昂贵实验的数量。然而，在许多实际应用中采用主动学习方法存在重大挑战。一个重要的挑战是许多方法假设一个固定模型，其中选择了模型超参数先验。在实践中，很少确实是提前知道的好模型。使用模型选择的主动学习方法通​​常取决于中型标签预算。在这项工作中，我们专注于拥有非常小的标签预算的情况，大约几十个数据点的顺序，并利用模型选择开发了一种简单而快速的实际主动学习方法。我们的方法基于基于底层池的活动学习者，用于使用带有径向基函数内核的支持向量分类的二进制分类。首先，我们凭经验展示了我们的方法能够找到与在不太可分离的oracle模型中相比，我们的方法能够找到最佳性能，难以对数据集进行分类，并且在更可分离的数据集中的合理性能和更容易分类。然后，我们证明可以使用权重方法来改进我们的模型选择方法，在实现易于分类的数据集上实现最佳性能之间的权衡，而难以对数据集进行分类，可以基于先前域进行调整关于数据集的知识。

通常在高维生物数据集中发现的最常见的缺陷之一是特征之间的相关性。这可能导致统计和机器学习方法过度或低估这些相关预测因素，而真正相关的则被忽略。在本文中，我们将定义一种名为“成对置换算法}（PPA）的新方法，其目的是在特征重要性值中减轻相关偏差。首先，我们提供了一个理论基础，在以前的工作中建立了折射重要性。然后将PPA应用于玩具数据集，我们展示了校正相关效果的能力。我们进一步测试PPA在微生物霰弹枪数据集上，表明PPA已经能够获得生物相关的生物标志物。